Swank sinh tại thành phố Lincoln, Nebraska,[1], là con gái của Judy (nhũ danh Clough), làm nghề thư ký và vũ nữ, và Stephen Swank, từng là sĩ quan trong "Lực lượng phòng không quốc gia" (Air National Guard) rồi sau đó làm nghề đi chào hàng.[2] Cô có một anh (em trai) tên Dan. Nhiều người trong gia tộc của cô tới từ Ringgold County, Iowa.[3] Swank bắt đầu từ chỗ thấp kém như một đứa trẻ lớn lên từ một trailer park (khu dành cho các xe moóc cắm trại) gần hồ Samish ở Bellingham, tiểu bang Washington,[4] từ khi cô 6 tuổi,[1] sau khi đã cư ngụ ở Spokane, tiểu bang Washington. Swank tự mô tả thời thơ ấu của mình như một "outsider" (người bên lề xã hội), luôn cảm thấy mình chỉ "thuộc về một nhân vật tiểu thuyết (khi đọc truyện), hoặc nhân vật trong phim (khi xem phim)", và do đó đã gợi hứng cho cô trở thành một diễn viên sau này.[5]

Khi Swank lên 9 tuổi, cô đóng kịch lần đầu trong vở The Jungle Book. Cô bắt đầu diễn kịch ở nhà trường và cộng đồng, trong đó có "đoàn kịch Bellingham" (Bellingham Theatre Guild). Cô học trường Trung học Sehome[6] ở Bellingham cho tới năm 16 tuổi. Swank cũng tham gia đua tranh trong các Thế vận hội Thanh thiếu niên (Junior Olympics) và tranh giải vô địch bơi lội tiểu bang Washington; và được xếp hạng 5 trong môn thể dục đa năng của tiểu bang[1] (điều này có lợi cho cô khi đóng phim The Next Karate Kid (1994) các năm sau đó).

Cha mẹ Swank ly thân khi cô 13 tuổi,[1] mẹ cô ủng hộ nguyện vọng trở thành diễn viên của con gái, đã chuyển chỗ ở tới Los Angeles, và họ sống trong chiếc xe hơi của mình, cho tới khi người mẹ dành giụm đủ tiền để thuê 1 căn hộ.[4] Swank đã mô tả mẹ mình như nguồn cảm hứng cho sự nghiệp diễn viên và cuộc sống của cô.[7] Ở California, Swank ghi tên học Trường Trung học South Pasadena (sau này cô bỏ trường)[8] và bắt đầu nghề diễn viên chuyên nghiệp. Cô giúp mẹ trả tiền thuê nhà bằng số tiền cô kiếm được khi xuất hiện trên các chương trình truyền hình như Evening Shade và Growing Pains.